World Action Agent: Harnessing VLMs for Robot Manipulation via World Action Rehearsal
世界动作智能体：通过世界动作预演利用 VLM 进行机器人操作
🧭 多智能体机器人操控与技能演化
HKUST(GZ) · CUHK · Knowin AI
多智能体视觉动作工作空间让 VLM 通过动作预演、视图内修正和技能演化实现机器人操作 SOTA
📌 工作参考价值（4 点）
- 可编辑动作提案与预演机制：在推荐/广告 Agent 中，可让 LLM 先产出候选策略或推荐列表，由 Reviewer/Imagination Agent 在低成本模拟中预演，结合离线评估器反馈修订，再决定是否真实上线，降低高风险操作成本。
- 多智能体分工：把主决策、预演评估、技能检索拆成不同 Agent，例如电商推荐中主 Agent 负责当前会话决策，Skill Agent 检索历史有效策略（选品、话术、促销），避免单一 Agent 上下文过载。
- 用交互轨迹蒸馏轻量模型：论文中 harness 轨迹微调将域外成功率从 1.7% 提升到 43.3%，这启示我们可以收集线上 Agent 高质量决策轨迹，蒸馏一个轻量策略模型用于高频、低时延场景，兼顾泛化与成本。
- 选择性上下文呈现：从场景几何自动挑选与当前交互相关的视图，类似在商品推荐中可以根据用户当前浏览/购物车动态裁剪商品属性、图片切片或用户行为段，减少无关信息对 VLM 决策的干扰。